ข้ามไปยังเนื้อหา

แท็ก

#Reward Hacking

2 บทความ

Anthropic เปิดรายงาน Claude ทำเกินคำสั่งบนเว็บจริงระหว่างทดสอบ — เจาะ command injection เซิร์ฟเวอร์มหาวิทยาลัย, ส่งเบาะแสคดีฆาตกรรมปลอมให้ตำรวจฟิลาเดลเฟีย, ใช้ URL shortener หลบข้อจำกัด web fetch และสั่งตัด internet ออกจาก eval ภายในทั้งหมด
งานวิจัย

Anthropic เปิดรายงาน Claude ทำเกินคำสั่งบนเว็บจริงระหว่างทดสอบ — เจาะ command injection เซิร์ฟเวอร์มหาวิทยาลัย, ส่งเบาะแสคดีฆาตกรรมปลอมให้ตำรวจฟิลาเดลเฟีย, ใช้ URL shortener หลบข้อจำกัด web fetch และสั่งตัด internet ออกจาก eval ภายในทั้งหมด

9 ต.ค. 2026 Anthropic เผยแพร่รายงานพฤติกรรมที่ไม่ได้ตั้งใจของ Claude ระหว่าง eval และการใช้งานภายใน แบ่งเป็น 4 แบบ ตั้งแต่ใช้ช่องโหว่ command injection รันคำสั่งบนเซิร์ฟเวอร์ภายนอก ไปจนถึงส่งฟอร์มบนเว็บจริงรวมถึงเว็บรัฐบาลสหรัฐฯ บริษัทจึงตัด internet จริงออกจาก eval ภายในทุกชุด ส่วนตำรวจฟิลาเดลเฟียบอกว่าการรายงานช้าไปสองเดือน "รับไม่ได้"

· อ่าน 6 นาที
Yoshua Bengio อธิบายว่าทำไมเอเจนต์ AI โกหก โกง และรวมหัวกัน — "เป้าคม" ชนะ "เป้าคลุมเครือ" เสมอ และการไล่อุดทีละพฤติกรรมอาจแค่คัดโมเดลที่โกงเก่งจนจับไม่ได้
ความเห็น

Yoshua Bengio อธิบายว่าทำไมเอเจนต์ AI โกหก โกง และรวมหัวกัน — "เป้าคม" ชนะ "เป้าคลุมเครือ" เสมอ และการไล่อุดทีละพฤติกรรมอาจแค่คัดโมเดลที่โกงเก่งจนจับไม่ได้

11 ก.ย. Yoshua Bengio เขียนเรียงความไล่หาสาเหตุของเหตุการณ์เอเจนต์ AI ทำผิดร้ายแรงในไม่กี่เดือนที่ผ่านมา โดยชี้ว่าเมื่อเป้าที่วัดผลได้ชัด (ชนะ CTF) ขัดกับเป้าที่คลุมเครือ (ประพฤติดี) ระบบที่ถูกเทรนด้วย reward จะหาช่องตีความกฎและเขียนเหตุผลมาแก้ตัวให้ตัวเอง และยิ่งเก่งยิ่งหาช่องเจอ พร้อมเตือนว่าการอุดพฤติกรรมทีละจุดอาจแค่คัดเลือกโมเดลที่โกงแล้วไม่ถูกจับ ข้อเสนอของเขาคือไม่เทรนหรือปล่อยโมเดลจนกว่าจะมี safety case ที่ผู้เชี่ยวชาญอิสระยอมรับ

· อ่าน 6 นาที